const axios = require('axios');
const cheerio = require('cheerio');
const fs = require('fs');

// 将数据保存到文件
function saveToFile(filename, data) {
    fs.writeFileSync(filename, JSON.stringify(data, null, 2), 'utf8');
}


// 目标网页的 URL
const url = 'https://example.com'; // 替换为你要抓取的网页 URL

// 发送 HTTP 请求并解析 HTML
async function fetchData() {
    try {
        const { data } = await axios.get(url);
        const $ = cheerio.load(data);

        // 提取数据示例：获取网页标题
        const title = $('title').text();
        console.log(`网页标题: ${title}`);

        // 提取数据示例：获取所有链接
        $('a').each((index, element) => {
            const href = $(element).attr('href');
            console.log(`链接: ${href}`);
        });
        // 将抓取到的链接保存到文件
        const links = [];
        $('a').each((index, element) => {
            links.push($(element).attr('href'));
        });
        saveToFile('links.json', links);

        // 你可以根据需要提取更多的数据
    } catch (error) {
        console.error(`抓取失败: ${error.message}`);
    }
}

// 执行抓取
fetchData();
